Customisable chatbot as a research instrument

Abstract. Chatbots are proliferating rapidly online for a variety of different purposes. This thesis presents a customisable chatbot that was designed and developed as a research instrument for online customer interaction research. The developed chatbot facilitates creation of different bot personas, data management tools, and a fully functional online chat user interface. Customer-facing bots in the system are rulebased, with basic input processing and text response selection based on best match. The system uses its own database to store user-chatbot dialogue history. Further, bots can be assigned unique dialogue scripts and their profiles can be customised concerning name, description and profile image. In the presented validation studies, participants completed a task by taking part in a conversation with different bots, as hosted by the system and invoked through distinct URL parameters. Second, the participants filled in a questionnaire on their experience with the bot, designed to reveal differences in how the bots were perceived. Our results suggest that the chatbot’s personality impacted how customers experienced the interactions. Therefore, the developed system can facilitate research scenarios that deal with investigating participant responses to different chatbot personas. Future work is necessary for a wider range of applications and enhanced response control.Personoitava chatbot tutkimustyökaluna. Tiivistelmä. Chatbotit yleistyvät nopeasti Internetissä ja niitä käytetään enenevissä määrin useissa eri käyttötarkoituksissa. Tämä diplomityö esittelee personoitavan chatbotin, joka on kehitetty tutkimustyökaluksi verkon yli tapahtuvaan vuorovaikutustutkimukseen. Kehitetty chatbot sisältää erilaisten bottipersoonien luonnin, apuvälineitä datan käsittelyn, ja itse botin käyttöliittymän. Järjestelmän käyttäjille vastailevat bottipersoonat ovat sääntöihin perustuvia, niiden syötteet käsitellään suoraviivaisesti ja vastaukseksi valitaan vertailun mukaan paras ennaltamääritellyn skriptin mukaisesti. Järjestelmä käyttää omaa tietokantaa tallentamaan käyttäjä-botti keskusteluhistorian. Lisäksi boteille voidaan asettaa uniikki dialogimalli, ja niiden profiilista voidaan personoida URL-parametrillä nimi, botin kuvaus ja profiilikuva. Chatbotin tekninen toiminta todettiin tutkimuksella, jossa osallistujat suorittivat annetun tehtävän seuraamalla osittain valmista käsikirjoitusta eri bottien kanssa. Tämän jälkeen osallistujat täyttivät käyttäjäkyselyn liittyen heidän kokemukseensa botin kanssa. Kysely oli suunniteltu paljastamaan mahdolliset eroavaisuudet siinä, kuinka botin käyttäytyminen miellettiin keskustelun aikana. Käyttäjätestin tulokset viittaavat siihen, että chatbotin persoonalla oli vaikutus käyttäjien kokemukseen. Kehitetty järjestelmä siis pystyy mahdollistamaan tutkimusasetelmia, joissa tutkitaan osallistujien reaktioita erilaisten chattibottien persooniin. Jatkotyö kehitetyn chatbotin yhteydessä keskittyy monimutkaisempien käyttötarkoitusten lisäämiseen ja botin vastausten parantamiseen edistyksellisemmän luonnollisen kielen käsittelyn avulla

Kasvojentunnistussovelluksen haasteet lisätyn todellisuuden sulautetussa järjestelmässä

Tiivistelmä. Tutkimuksessa tarkastellaan reaaliaikaisen lisätyn todellisuuden kasvojentunnistussovelluksen haasteita sulautetuissa järjestelmissä. Merkittävimmät haasteet liittyvät reaaliaikaisuuden toteuttamiseen säilyttäen samalla hyvä kuvanlaatu ja sovelluksen tarkoituksenmukaisuus. Työtä varten kehitetty kasvojentunnistussovellus testattiin Raspberry Pi -tietokoneella. Tarkkailun kohteena olivat sovelluksen suorituskyky ja tunnistustarkkuus, sekä Raspberry Pi:n kaltaisen tietokoneen soveltuvuus sovelluksen alustana. Testit havainnollistavat sovelluksen toteutukseen vaikuttavien ratkaisujen merkitystä sovelluksen suorituskykyyn. Nämä vaatimukset täyttävä reaaliaikainen lisätyn todellisuuden sovellus tarvitsee tarkkaa kuvankäsittelyä, hyvää kuvanlaatua sekä mobiilisuutta. Sulautettu järjestelmä tarvitsee optimointia, reaktiivisuutta ja pientä kokoa. Kehitetty sovellus tunnistaa videokameran kuvasta ihmisen kasvot, piirtää kasvojen päälle grafiikkaa ja toistaa tehostetun kuvan reaaliaikaisesti käyttöliittymän kautta. Sovellus hyödyntää Raspberry Pi -kosketusnäyttöä ja Raspberry Pi -kameraa, sekä tietokonenäköä varten koottua kirjastoa OpenCV. Sovellus ja alusta yhdessä eivät täyttäneet kaikkia suorituskyvyn vaatimuksia. Metrin etäisyydellä sovellus kykeni 99,9 %:n tunnistustarkkuuteen alhaisellakin resoluutiolla, mutta etäisyyden kasvaessa tunnistustarkkuus pieneni lähes täysin lineaarisesti kolmeen metriin, jossa se ei enää kyennyt tunnistamaan yhtään kasvoa kuvamateriaalista. Parhaimmillakin olosuhteilla ruudunpäivitysnopeus valitettavasti ei riittänyt toistamaan kolmeakymmentä kuvaa sekunnissa. Pienimmällä 144p resoluutiolla se oli kaksikymmentä kuvaa sekunnissa ja suurimmalla 720p resoluutiolla se oli kolme kuvaa sekunnissa. Raspberry Pi ei testien perusteella sovi reaaliaikaisen lisätyn todellisuuden sovelluksen alustaksi.Face recognition application in augmented reality embedded system. Abstract. In this research, the challenges of real time augmented reality application are inspected, while software is developed for embedded systems. The most significant challenges consider simultaneous implementation of real time application, high image quality and purposefulness of the software. For the purpose experimentation in this research, a face recognition software was developed and tested with Raspberry Pi 2 single board computer. Under examination were performance and face recognition accuracy of the application. The experiments illustrate the effect on the performance of the software for the implementation choices’ of the software. A real time augmented reality software, which passes these criteria, requires accurate image processing, high image quality and mobility. Embedded systems, on the other hand, require optimization, reactivity and small size. The developed software recognizes faces from image produced by the Raspberry Pi’s video camera, draws graphic on the faces and plays the enhanced image in real time from the user interface. The software utilizes Raspberry Pi touchscreen and Raspberry Pi camera, as well as a computer vision library called OpenCV. In the research, the software does not pass an acceptable level of performance using Raspberry Pi 2 single board computer. In one meter’s distance, the software achieved face recognition accuracy of 99.9 %, yet, while increasing the distance, the face recognition accuracy diminished nearly in a linear fashion until three meters, in which the face recognition accuracy was zero. Additionally, while the image size grew larger, FPS was reduced exponentially. Even with the best conditions the FPS was low, for the smallest resolution, 144p, the FPS was 20 and for the largest, 720p, resolution the FPS was three